WeVisOne-VL: Unified Visual Perception from Objects to Pixels
WeVisOne-VL:从物体到像素的统一视觉感知模型
🧭 统一目标级与像素级视觉感知
WeChat Vision, Tencent Inc.
用结构化 next-token 预测统一目标级与像素级视觉感知,支持检测、定位、分割与抠图
📌 工作参考价值(4 点)
- 电商商品图片理解:可把商品主体检测、属性定位、mask 生成、OCR 统一到一个 VLM,减少多模型串联;用结构化文本输出 boxes/masks,便于接入 Agent 工具调用。
- <OBJ> token + 轻量 pixel decoder 的思路可迁移:在业务多模态模型中加一个特殊 token 表示实例,让 LLM 主干输出语义信息、pixel decoder 输出像素级结果,实现“语义理解+定位”同架构。
- 针对缺货/不存在的对象做 robust rejection 值得借鉴:商品图或广告素材中检测用户 query 指向对象缺失时直接拒绝,可降低下游误匹配。
- 训练上采用三阶段 curriculum SFT + mixed-task RL 的策略,适合多任务视觉-语言模型在电商场景做稳定训练。